package test;

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;

public class JobProcessor implements PageProcessor {

    //解析页面
    public void process(Page page) {
        //解析返回的数据page，并且把解析的结果放到ResultItems中
        //css选择器
        page.putField("div1", page.getHtml().css("div.dt").all());

        //Path
        page.putField("div2", page.getHtml().xpath("//div[@id=shortcut-2014]/ul/li/div/a/text()"));

        //正则表达式
        page.putField("div3", page.getHtml().css("div#shortcut-2014 a").regex(".*京东.*").all());

        //处理结果API
        page.putField("div4", page.getHtml().css("div.top_newslist").regex(".*2[.]shtml$").get());
        page.putField("div5", page.getHtml().css("div.top_newslist").regex(".*2[.]shtml$").toString());

        //获取连接
        page.addTargetRequests(page.getHtml().css("div.top_newslist").links().regex(".*2[.]shtml$").all());
        page.putField("url", page.getHtml().css("#article").all());
    }
    private Site site=Site.me();


    public Site getSite(){
        return site;
    }

    //主函数，执行爬虫
    public static void main(String[] args) {
        Spider.create(new JobProcessor())
                .addUrl("https://kuaibao.jd.com/?ids=259662969,247472823,257566877,248660945")            //设置爬虫页面
                .run();                //执行爬虫
    }
}
